CN116523877A - 一种基于卷积神经网络的脑mri图像肿瘤块分割方法 - Google Patents
一种基于卷积神经网络的脑mri图像肿瘤块分割方法 Download PDFInfo
- Publication number
- CN116523877A CN116523877A CN202310487851.2A CN202310487851A CN116523877A CN 116523877 A CN116523877 A CN 116523877A CN 202310487851 A CN202310487851 A CN 202310487851A CN 116523877 A CN116523877 A CN 116523877A
- Authority
- CN
- China
- Prior art keywords
- neural network
- image
- brain mri
- particle
- mri image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000011218 segmentation Effects 0.000 title claims abstract description 39
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 28
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 20
- 239000002245 particle Substances 0.000 claims abstract description 86
- 238000003062 neural network model Methods 0.000 claims abstract description 38
- 238000005457 optimization Methods 0.000 claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 14
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 235000002566 Capsicum Nutrition 0.000 claims 1
- 239000006002 Pepper Substances 0.000 claims 1
- 235000016761 Piper aduncum Nutrition 0.000 claims 1
- 235000017804 Piper guineense Nutrition 0.000 claims 1
- 244000203593 Piper nigrum Species 0.000 claims 1
- 235000008184 Piper nigrum Nutrition 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供了一种基于卷积神经网络的脑MRI图像肿瘤块分割方法，属于医学图像信息智能处理技术领域。其技术方案为：包括如下步骤：S1、图像预处理；S2、构建3D‑U‑Net神经网络模型；S3、利用粒子群优化算法PSO对3D‑U‑Net神经网络模型进行优化，获得基于粒子群优化算法优化的三维U‑Net即PSO‑3D‑U‑Net神经网络模型；S4、将预处理后数据增强的脑MRI图像使用PSO‑3D‑U‑Net神经网络模型对待测脑MRI图像分割。本发明的有益效果为：有效地避免了神经网络中初始化权值不当的问题，提高了网络的收敛速度和收敛精度。
Description
技术领域
本发明涉及医学图像处理技术领域，尤其涉及一种基于卷积神经网络的脑MRI图像肿瘤块分割方法。
背景技术
根据“中国脑计划”的需求，深入研究大脑构造及功能迫在眉睫。大脑作为中央处理器，起着控制情绪、协调运动、认知记忆等重要作用。脑功能的实现依托于其复杂的结构。最初人们对大脑结构的研究多基于解剖学，但该方式对研究对象具有侵入性。20世纪70年代，随着脑部断层影像技术的出现，基于医学图像的脑部结构研究工作越来越多，然而受当时技术限制，使得临床上手动诊断不仅工作量巨大而且对医疗人员的经验和技能要求颇高。
随着计算机技术的不断发展，利用人工智能技术对脑MRI图像进行自动分类，可有效对脑科疾病进行早期的辅助诊断和决策，目前已成为国内外学者关注的研究热点。深度学习中的卷积神经网络模型凭借其局部感知、参数共享的特殊结构在医学图像处理方面有着独特的优越性。由于图像信息具有较强的空间复杂性、相关性，因此将差分进化算法应用到图像处理中，在很多场合具有比传统方法更好的效果。
发明内容
本发明的目的在于提供一种基于卷积神经网络的脑MRI图像肿瘤块分割方法，减轻了医护人员的工作负担，有效地进行脑MRI图像肿瘤块分割，获得更高的分割精度和效率。
为了实现上述发明目的，本发明采用技术方案具体为：一种基于卷积神经网络的脑MRI图像肿瘤块分割方法，包括以下步骤：
S1、图像预处理，将每一个病例的脑MRI图像进行预处理，并采用混合多种变换将预处理后的脑MRI图像进行图像数据增强处理，获得数据增强的脑MRI图像；
S2、构建3D-U-Net神经网络模型，对所述数据增强的脑MRI图像进行分割获得分割图，通过所述分割图与所述脑MRI图像所对应的标准分割图比较得到实际的预测概率，进而得到Dice Loss，将Dice Loss与CrossEntropy Loss相加作为所构3D-U-Net神经网络的误差函数，获得所述3D-U-Net神经网络模型，所述3D-U-Net神经网络模型包括输入层、卷积层、ReLU非线性层、池化层、反卷积层以及输出层；
S3、利用粒子群优化算法PSO对所述3D-U-Net神经网络模型进行优化训练，将所述数据增强的脑MRI图像作为粒子，通过粒子群不断迭代，得到最优种群粒子，利用梯度下降算法对所述3D-U-Net神经网络的参数进行调整，获得PSO-3D-U-Net神经网络模型；
S4、将待测脑MRI图像进行图像数据增强处理后使用所述PSO-3D-U-Net神经网络模型对所述待测脑MRI图像分割。
作为本发明提供的一种基于卷积神经网络的脑MRI图像肿瘤块分割方法进一步优化方案，所述步骤S1包括如下步骤：
S11、将每个病例的四种模态的MRI图像进行堆叠，合并成为一个4D图像(C×H×W×D，C＝4)，C表示输入图像的通道数，H表示输入图像的高度，W表示输入图像的宽度，D表示输入图像的深度，和分割标签一同保存，并转化数据类型，分别将四个模态的第一个通道进行求和，若为0则标记为背景，对背景外的区域进行归一化处理，得到归一化后的数据集，原始图像尺寸为240×240×155像素大小，图像周围存在许多黑边，采用中心裁剪对脑MRI图像进行剪切处理，将图像裁剪为160×160×128像素大小，有效去除在脑MRI图像中显现纯黑色的像素值为0的区域；
S12、采用随机裁剪、随机翻转、对比度变换、亮度变换和添加椒盐噪声的数据增强方法，使得训练集中的一幅图像能够增强到多幅本质相同的图像，相较于其他图像数据集，脑MRI图像数据集质量高，对数据增强处理方法不敏感，卷积神经网络对处于不同角度、旋转方向上的数据集能够学习到不同的特征。
作为本发明提供的一种基于卷积神经网络的脑MRI图像肿瘤块分割方法进一步优化方案，所述步骤S2包括如下步骤：
S21、所述的3D-U-Net神经网络模型采用下采样对所述脑MRI图像进行特征提取，利用大小为3×3×3的卷积核对输入的脑MRI图像进行2次卷积操作，并在每个卷积操作之后添加一个校正线性单元ReLu，然后进行2×2×2的池化操作，重复4次，在每进行一次池化之后的第一个3×3×3的卷积操作，3×3×3的卷积核数量成倍增加；之后再进行2次3×3×3的卷积操作，继续完成上述下采样特征提取相关操作；
S22、采用上采样进行操作，首先进行2次3×3×3的反卷积操作，对最大池化层的图像进行复制和剪裁，并与反卷积所得图像进行拼接；然后进行3×3×3的卷积操作，重复4次，在每进行一次拼接之后的第一个3×3×3卷积操作，3×3×3卷积核数量成倍减少；在最后一层中，进行2次3×3×3的卷积操作和1次1×1×1的卷积操作将输出通道的数量减少到标签的数量，此时完成上采样过程；
S23、通过所述的3D-U-Net神经网络模型的上采样和下采样过程，前向计算3D-U-Net神经网络得到分割图，误差函数如下：
Ltotal＝Ldice+LCE (2)
(2)式中Ldice表示meandice Loss，dice系数是一种用于评估两个样本相似性的度量函数，其值越大意味着这两个样本越相似，其数学表示如下：
而对于多分类情况，这里考虑所有类别的平均，其表示如下：
(4)式中u表示网络的softmax输出，|K|表示包含的不同类别数，v表示分割标签的独热编码，其方法是使用|K|个状态寄存器来对|K|个不同类别进行编码，每个类别都有它独立的寄存器位；
(2)式中LCE表示Cross Entropy Loss，表示如下：
(5)式中K表示包含的不同类别数，yic表示符号函数，如果样本i的真实类别等于c取1，否则取0，pic表示观测样本i属于类别c的预测概率；设置阈值，所述误差阈值为0.1，当所述误差不大于所述误差阈值时，获得所需的PS0-3D-U-Net神经网络模型；当所述误差大于所述误差阈值时，采用梯度下降算法与反向传播算法来调整网络权值，然后重复步骤S21至S23进行前向计算，直至所述误差不大于所述误差阈值为止。
作为本发明提供的一种基于卷积神经网络的脑MRI图像肿瘤块分割方法进一步优化方案，所述步骤S3包括如下步骤：
S31、从所述数据增强脑的MRI图像训练集中随机选取少量N张脑MRI图像作为对照图像，将粒子群Q表示为Q＝(Q1，Q2，...，QN)，N表示所述粒子群Q中的粒子的数量，其数量与选取的脑MRI图像的张数保持一致，每个粒子的每一位表示一位连接权值或者阈值，第i个粒子Qi的编码方式为Qi＝(Qi1，Qi2，...，QiD)，其中D表示连接权值或者阈值的总个数，第i个粒子的位置向量为Xi＝(xi1，xi2，...，ciD)，第i个粒子的速度向量为Vi＝(vi1，vi2，...，viD)，初始化学习因子c1，c2和惯性权重ω的初始值，并将每个粒子的位置向量和速度向量初始化为区间[0，1]之内的随机数，其中D表示3D-U-Net模型中参数的个数；
S32、在粒子群优化算法中，第i个粒子搜索到的最优位置为Pid，pbest＝(pi1，pi2，...，piD)，群体搜索到的最优位置为Pd，gbest(p1，gbest，p2，gbest，...，pD，gbest)，在3D-U-Net模型中分别完成下采样和上采样过程，将3D-U-Net神经网络的误差函数作为粒子群适应度函数，计算每个粒子的适应度，并按照升序排列，得到每个粒子的最佳位置pbest和整个粒子群体的最佳位置gbest；
S33、如果粒子的适应值已经达到误差阈值范围的极小值，表示模型训练已经收敛，则停止运行；否则按照公式(5)和(6)继续更新每个粒子的位置和速度；
式中vid和xid表示粒子i当前的位置和速度；k表示迭代次数；c1表示个体学习因子；c2表示群体学习因子；和/>分别表示粒子i更新后速度和位置；ω为惯性权重；r1，r2是区间[0，1]范围之内的随机数，增加搜索的随机性；/>表示在第k次迭代后，第i个粒子搜索得到的最优解；/>表示在第k次迭代后，整个粒子群体中的最优解；
S34、将更新后的粒子的参数传回3D-U-Net神经网络模型，更新需要训练的连接权值，再次进行上采样和下采样过程，并计算其误差；以及将得到的粒子群的最佳位置gbest进行拆分，将其映射到3D-U-Net神经网络模型的权值和阈值，则完成粒子群优化算法PSO对3D-U-Net神经网络权值优化的全过程。与现有技术相比，本发明的有益效果为：
(1)本发明采用卷积神经网络框架在病灶分类中应用广泛，在样本数量庞大的情况下，卷积神经网络的分类效果优于人工神经网络。基于传统的统计机器学习的分类方法将特征工程与分类器分开优化，而基于深度学习卷积神经网络能够对训练数据进行特征自动学习，根据训练数据快速地学习到训练数据的特征表示，省去了特征工程的部分，极大增加训练效率。
(2)在传统的前馈神经网络中，权值和阈值的优化采用的梯度下降的方法进行优化的。在优化过程中发现，梯度下降在迭代次数比较多的情况下，收敛速度慢，预测精度低的行为。粒子群优化算法在优化线性和非线性是比较不错的算法，收敛速度快，精度高。它对于处理线性和非线性的问题恰好可以引入优化神经网络参数中来。前馈神经网络是以误差函数作为梯度函数进行下降而找到最优的权值和阈值，可以利用粒子群优化算法的良好优化性能，以误差函数作为适应度函数，以权值、阈值作为变量。因此则可以将其看待为优化多维单目标优化，结合粒子群优化算法的优越性，实现对卷积神经网络的权值、阈值优化。
(3)深度学习的强大特征自学习能力不仅大大节省了人工特征工程的工作量，其提取的高维度的特征比人工特征工程表征性还强。并且通过实验验证，利用卷积神经网络对医学图像进行分割，不仅在总体分割精度上要强于传统的语义分割网络方法，而且在传统语义分割网络不能较好地分割的图像类别上，卷积神经网络依然能够保持90％以上的分割准确率，说明卷积神经网络在医学图像分割方面具有实用性。
(4)本发明提出了一种基于卷积神经网络的脑MRI图像肿瘤块分割方法，有效地避免了神经网络中初始化权值不当的问题，提高了网络的收敛速度和收敛精度，减轻了医护人员的工作负担，有效地进行脑MRI图像肿瘤块分割，获得更高的分割精度和效率。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明提供的基于卷积神经网络的脑MRI图像肿瘤块分割方法的整体流程图。
图2为本发明中3D-U-Net神经网络模型结构图。
图3为本发明提供的基于卷积神经网络的脑MRI图像肿瘤块分割方法的详细流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。当然，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例
参见图1与图3，本发明提供其技术方案为，一种基于卷积神经网络的脑MRI图像肿瘤块分割方法，为了实现上述发明目的，本发明采用技术方案具体为：一种基于卷积神经网络的脑MRI图像肿瘤块分割方法，包括以下步骤：
S1、图像预处理，将每一个病例的脑MRI图像进行预处理，并采用混合多种变换将预处理后的脑MRI图像进行图像数据增强处理，获得数据增强的脑MRI图像；
S2、构建3D-U-Net神经网络模型，对所述数据增强的脑MRI图像进行分割获得分割图，通过所述分割图与所述脑MRI图像所对应的标准分割图比较得到实际的预测概率，进而得到Dice Loss，将Dice Loss与CrossEntropy Loss相加作为所构3D-U-Net神经网络的误差函数，获得所述3D-U-Net神经网络模型，所述3D-U-Net神经网络模型包括输入层、卷积层、ReLU非线性层、池化层、反卷积层以及输出层；
S3、利用粒子群优化算法PSO对所述3D-U-Net神经网络模型进行优化训练，将所述数据增强的脑MRI图像作为粒子，通过粒子群不断迭代，得到最优种群粒子，利用梯度下降算法对所述3D-U-Net神经网络的参数进行调整，获得PSO-3D-U-Net神经网络模型；
S4、将待测脑MRI图像进行图像数据增强处理后使用所述PSO-3D-U-Net神经网络模型对所述待测脑MRI图像分割。
具体地，所述步骤S1包括如下步骤：
S11、将每个病例的四种模态的MRI图像进行堆叠，合并成为一个4D图像(C×H×W×D，C＝4)，C表示输入图像的通道数，H表示输入图像的高度，W表示输入图像的宽度，D表示输入图像的深度，和分割标签一同保存，并转化数据类型，分别将四个模态的第一个通道进行求和，若为0则标记为背景，对背景外的区域进行归一化处理，得到归一化后的数据集，原始图像尺寸为240×240×155像素大小，图像周围存在许多黑边，采用中心裁剪对脑MRI图像进行剪切处理，将图像裁剪为160×160×128像素大小，有效去除在脑MRI图像中显现纯黑色的像素值为0的区域；
S12、采用随机裁剪、随机翻转、对比度变换、亮度变换和添加椒盐噪声的数据增强方法，使得训练集中的一幅图像能够增强到多幅本质相同的图像，相较于其他图像数据集，脑MRI图像数据集质量高，对数据增强处理方法不敏感，卷积神经网络对处于不同角度、旋转方向上的数据集能够学习到不同的特征。
具体地，所述步骤S2包括如下步骤：
S21、所述的3D-U-Net神经网络模型采用下采样对所述脑MRI图像进行特征提取，利用大小为3×3×3的卷积核对输入的脑MRI图像进行2次卷积操作，并在每个卷积操作之后添加一个校正线性单元ReLu，然后进行2×2×2的池化操作，重复4次，在每进行一次池化之后的第一个3×3×3的卷积操作，3×3×3的卷积核数量成倍增加；之后再进行2次3×3×3的卷积操作，继续完成上述下采样特征提取相关操作；
S22、采用上采样进行操作，首先进行2次3×3×3的反卷积操作，对最大池化层的图像进行复制和剪裁，并与反卷积所得图像进行拼接；然后进行3×3×3的卷积操作，重复4次，在每进行一次拼接之后的第一个3×3×3卷积操作，3×3×3卷积核数量成倍减少；在最后一层中，进行2次3×3×3的卷积操作和1次1×1×1的卷积操作将输出通道的数量减少到标签的数量，此时完成上采样过程；
S23、通过所述的3D-U-Net神经网络模型的上采样和下采样过程，前向计算3D-U-Net神经网络得到分割图，误差函数如下：
Ltotal＝Ldice+LCE (2)
(2)式中Ldice表示mean dice Loss，dice系数是一种用于评估两个样本相似性的度量函数，其值越大意味着这两个样本越相似，其数学表示如下：
而对于多分类情况，这里考虑所有类别的平均，其表示如下：
(4)式中u表示网络的softmax输出，|K|表示包含的不同类别数，v表示分割标签的独热编码，其方法是使用|K|个状态寄存器来对|K|个不同类别进行编码，每个类别都有它独立的寄存器位；
(2)式中LCE表示Cross Entropy Loss，表示如下：
(5)式中K表示包含的不同类别数，yic表示符号函数，如果样本i的真实类别等于c取1，否则取0，pic表示观测样本i属于类别c的预测概率；设置阈值，所述误差阈值为0.1，当所述误差不大于所述误差阈值时，获得所需的PSO-3D-U-Net神经网络模型；当所述误差大于所述误差阈值时，采用梯度下降算法与反向传播算法来调整网络权值，然后重复步骤S21至S23进行前向计算，直至所述误差不大于所述误差阈值为止。
具体地，所述步骤S3包括如下步骤：
S31、从所述数据增强脑的MRI图像训练集中随机选取少量N张脑MRI图像作为对照图像，将粒子群Q表示为Q＝(Q1，Q2，...，QN)，N表示所述粒子群Q中的粒子的数量，其数量与选取的脑MRI图像的张数保持一致，每个粒子的每一位表示一位连接权值或者阈值，第i个粒子Qi的编码方式为Qi＝(Qi1,Qi2，...,QiD)，其中D表示连接权值或者阈值的总个数，第i个粒子的位置向量为Xi＝(xi1,xi2，...，xiD)，第i个粒子的速度向量为Vi＝(vil,vi2，...,viD)，初始化学习因子c1，c2和惯性权重ω的初始值，并将每个粒子的位置向量和速度向量初始化为区间[0，1]之内的随机数，其中D表示3D-U-Net模型中参数的个数；
S32、在粒子群优化算法中，第i个粒子搜索到的最优位置为Pid，pbest＝(pi1，pi2，...，piD)，群体搜索到的最优位置为Pd，gbest＝(p1，gbest，p2，gbest，…，pD，gbest)，在3D-U-Net模型中分别完成下采样和上采样过程，将3D-U-Net神经网络的误差函数作为粒子群适应度函数，计算每个粒子的适应度，并按照升序排列，得到每个粒子的最佳位置pbest和整个粒子群体的最佳位置gbest；
S33、如果粒子的适应值已经达到误差阈值范围的极小值，表示模型训练已经收敛，则停止运行；否则按照公式(5)和(6)继续更新每个粒子的位置和速度；
式中vid和xid表示粒子i当前的位置和速度；k表示迭代次数；c1表示个体学习因子；c2表示群体学习因子；和/>分别表示粒子i更新后速度和位置；ω为惯性权重；r1，r2是区间[0，1]范围之内的随机数，增加搜索的随机性；/>表示在第k次迭代后，第i个粒子搜索得到的最优解；/>表示在第k次迭代后，整个粒子群体中的最优解；
S34、将更新后的粒子的参数传回3D-U-Net神经网络模型，更新需要训练的连接权值，再次进行上采样和下采样过程，并计算其误差；以及将得到的粒子群的最佳位置gbest进行拆分，将其映射到3D-U-Net神经网络模型的权值和阈值，则完成粒子群优化算法PSO对3D-U-Net神经网络权值优化的全过程。
根据本发明的实施例描述的方法或算法的步骤可以直接在硬件中实现，作为由硬件执行的软件模块，或者通过它们的组合来实现。软件模块可以包括随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编程ROM(EPROM)，电可擦除可编程ROM(EEPROM)，闪存，硬盘，可移动盘，CD-ROM，或者其它可以驻留在本发明所属领域中众所周知的任何类型的计算机可读记录介质中。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于卷积神经网络的脑MRI图像肿瘤块分割方法，其特征在于，包括以下步骤：
S1、图像预处理，将每一个病例的脑MRI图像进行预处理，并采用混合多种变换将预处理后的脑MRI图像进行图像数据增强处理，获得数据增强的脑MRI图像；
S2、构建3D-U-Net神经网络模型，对所述数据增强的脑MRI图像进行分割获得分割图，通过所述分割图与所述脑MRI图像所对应的标准分割图比较得到实际的预测概率，进而得到Dice Loss，将Dice Loss与CrossEntropy Loss相加作为所构3D-U-Net神经网络的误差函数，获得所述3D-U-Net神经网络模型，所述3D-U-Net神经网络模型包括输入层、卷积层、ReLU非线性层、池化层、反卷积层以及输出层；
S3、利用粒子群优化算法PSO对所述3D-U-Net神经网络模型进行优化训练，将所述数据增强的脑MRI图像作为粒子，通过粒子群不断迭代，得到最优种群粒子，利用梯度下降算法对所述3D-U-Net神经网络的参数进行调整，获得PSO-3D-U-Net神经网络模型；
S4、将待测脑MRI图像进行图像数据增强处理后使用所述PSO-3D-U-Net神经网络模型对所述待测脑MRI图像分割。
2.根据权利要求1所述的基于卷积神经网络的脑MRI图像肿瘤块分割方法，其特征在于，所述步骤S1包括如下步骤：
S11、将每个病例的四种模态的MRI图像进行堆叠，合并成为一个4D图像(C×H×W×D，C＝4)，C表示输入图像的通道数，H表示输入图像的高度，W表示输入图像的宽度，D表示输入图像的深度，和分割标签一同保存，并转化数据类型，分别将四个模态的第一个通道进行求和，若为0则标记为背景，对背景外的区域进行归一化处理，得到归一化后的数据集，原始图像尺寸为240×240×155像素大小，图像周围存在许多黑边，采用中心裁剪对脑MRI图像进行剪切处理，将图像裁剪为160×160×128像素大小，去除在脑MRI图像中显现纯黑色的像素值为0的区域；
S12、采用随机裁剪、随机翻转、对比度变换、亮度变换和添加椒盐噪声的数据增强方法，使得训练集中的一幅图像增强到多幅本质相同的图像。
3.根据权利要求1所述的基于卷积神经网络的脑MRI图像肿瘤块分割方法，其特征在于，所述步骤S2包括如下步骤：
S21、所述的3D-U-Net神经网络模型采用下采样对所述脑MRI图像进行特征提取，利用大小为3×3×3的卷积核对输入的脑MRI图像进行2次卷积操作，并在每个卷积操作之后添加一个校正线性单元ReLu，然后进行2×2×2的池化操作，重复4次，在每进行一次池化之后的第一个3×3×3的卷积操作，3×3×3的卷积核数量成倍增加；之后再进行2次3×3×3的卷积操作，继续完成上述下采样特征提取相关操作；
S22、采用上采样进行操作，首先进行2次3×3×3的反卷积操作，对最大池化层的图像进行复制和剪裁，并与反卷积所得图像进行拼接；然后进行3×3×3的卷积操作，重复4次，在每进行一次拼接之后的第一个3×3×3卷积操作，3×3×3卷积核数量成倍减少；在最后一层中，进行2次3×3×3的卷积操作和1次1×1×1的卷积操作将输出通道的数量减少到标签的数量，此时完成上采样过程；
S23、通过所述的3D-U-Net神经网络模型的上采样和下采样过程，前向计算3D-U-Net神经网络得到分割图，误差函数如下：
Ltotal＝Ldice+LCE (2)
(2)式中Ldice表示mean dice Loss，dice系数是一种用于评估两个样本相似性的度量函数，其值越大意味着这两个样本越相似，其数学表示如下：
而对于多分类情况，这里考虑所有类别的平均，其表示如下：
(4)式中u表示网络的softmax输出，|K|表示包含的不同类别数，v表示分割标签的独热编码，其方法是使用|K|个状态寄存器来对|K|个不同类别进行编码，每个类别都有它独立的寄存器位；
(2)式中LCE表示Cross Entropy Loss，表示如下：
(5)式中K表示包含的不同类别数，yic表示符号函数，如果样本i的真实类别等于c取1，否则取0，pic表示观测样本i属于类别c的预测概率；设置阈值，所述误差阈值为0.1，当所述误差不大于所述误差阈值时，获得所需的PSO-3D-U-Net神经网络模型；当所述误差大于所述误差阈值时，采用梯度下降算法与反向传播算法来调整网络权值，然后重复步骤S21至S23进行前向计算，直至所述误差不大于所述误差阈值为止。
4.根据权利要求1所述的基于卷积神经网络的脑MRI图像肿瘤块分割方法，其特征在于，所述步骤S3包括如下步骤：
S31、从所述数据增强脑的MRI图像训练集中随机选取少量N张脑MRI图像作为对照图像，将粒子群Q表示为Q＝(Q1，Q2，...，QN)，N表示所述粒子群Q中的粒子的数量，其数量与选取的脑MRI图像的张数保持一致，每个粒子的每一位表示一位连接权值或者阈值，第i个粒子Qi的编码方式为Qi＝(Qi1,Qi2，...,QiD)，其中D表示连接权值或者阈值的总个数，第i个粒子的位置向量为Xi＝(xi1,xi2，...，XiD)，第i个粒子的速度向量为Vi＝(vi1,Vi2，...,ViD)，初始化学习因子c1，c2和惯性权重ω的初始值，并将每个粒子的位置向量和速度向量初始化为区间[0，1]之内的随机数，其中D表示3D-U-Net模型中参数的个数；
S32、在粒子群优化算法中，第i个粒子搜索到的最优位置为Pid，pbest＝(pi1，pi2，...，piD)，群体搜索到的最优位置为Pd，gbest(p1，gbest，p2，gbest，...，pD，gbest)，在3D-U-Net模型中分别完成下采样和上采样过程，将3D-U-Net神经网络的误差函数作为粒子群适应度函数，计算每个粒子的适应度，并按照升序排列，得到每个粒子的最佳位置pbest和整个粒子群体的最佳位置gbest；
S33、如果粒子的适应值已经达到误差阈值范围的极小值，表示模型训练已经收敛，则停止运行；否则按照公式(5)和(6)继续更新每个粒子的位置和速度；
式中vid和xid表示粒子i当前的位置和速度；k表示迭代次数；c1表示个体学习因子；c2表示群体学习因子；和/>分别表示粒子i更新后速度和位置；ω为惯性权重；r1，r2是区间[0，1]范围之内的随机数，增加搜索的随机性；/>表示在第k次迭代后，第i个粒子搜索得到的最优解；/>表示在第k次迭代后，整个粒子群体中的最优解；
S34、将更新后的粒子的参数传回3D-U-Net神经网络模型，更新需要训练的连接权值，再次进行上采样和下采样过程，并计算其误差；以及将得到的粒子群的最佳位置gbest进行拆分，将其映射到3D-U-Net神经网络模型的权值和阈值，则完成粒子群优化算法PSO对3D-U-Net神经网络权值优化的全过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310487851.2A CN116523877A (zh) | 2023-05-04 | 2023-05-04 | 一种基于卷积神经网络的脑mri图像肿瘤块分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310487851.2A CN116523877A (zh) | 2023-05-04 | 2023-05-04 | 一种基于卷积神经网络的脑mri图像肿瘤块分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116523877A true CN116523877A (zh) | 2023-08-01 |
Family
ID=87397196
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310487851.2A Pending CN116523877A (zh) | 2023-05-04 | 2023-05-04 | 一种基于卷积神经网络的脑mri图像肿瘤块分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116523877A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117635952A (zh) * | 2024-01-25 | 2024-03-01 | 英瑞云医疗科技(烟台)有限公司 | 一种多模态脑瘤图像分割方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
| CN111815574A (zh) * | 2020-06-18 | 2020-10-23 | 南通大学 | 一种用于眼底视网膜血管图像分割的粗糙集神经网络方法 |
| US20200349697A1 (en) * | 2019-05-02 | 2020-11-05 | Curacloud Corporation | Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network |
| CN113283573A (zh) * | 2021-06-25 | 2021-08-20 | 江南大学 | 一种卷积神经网络最优结构自动搜索方法 |
| CN114926477A (zh) * | 2022-05-16 | 2022-08-19 | 东北大学 | 一种基于深度学习的脑肿瘤多模态mri影像分割方法 |
| CN114972383A (zh) * | 2022-06-06 | 2022-08-30 | 长春工业大学 | 一种基于UNet的脑肿瘤分割方法 |
-
2023
- 2023-05-04 CN CN202310487851.2A patent/CN116523877A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110120033A (zh) * | 2019-04-12 | 2019-08-13 | 天津大学 | 基于改进的U-Net神经网络三维脑肿瘤图像分割方法 |
| US20200349697A1 (en) * | 2019-05-02 | 2020-11-05 | Curacloud Corporation | Method and system for intracerebral hemorrhage detection and segmentation based on a multi-task fully convolutional network |
| CN111815574A (zh) * | 2020-06-18 | 2020-10-23 | 南通大学 | 一种用于眼底视网膜血管图像分割的粗糙集神经网络方法 |
| CN113283573A (zh) * | 2021-06-25 | 2021-08-20 | 江南大学 | 一种卷积神经网络最优结构自动搜索方法 |
| CN114926477A (zh) * | 2022-05-16 | 2022-08-19 | 东北大学 | 一种基于深度学习的脑肿瘤多模态mri影像分割方法 |
| CN114972383A (zh) * | 2022-06-06 | 2022-08-30 | 长春工业大学 | 一种基于UNet的脑肿瘤分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| NOSHEEN SOHAIL等: "Smart Approach for Glioma Segmentation in Magnetic Resonance Imaging using Modified Convolutional Network Architecture (U-NET)", 《CYBERNETICS AND SYSTEMS》, 22 January 2021 (2021-01-22), pages 1 - 23 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117635952A (zh) * | 2024-01-25 | 2024-03-01 | 英瑞云医疗科技(烟台)有限公司 | 一种多模态脑瘤图像分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108681752B (zh) | 一种基于深度学习的图像场景标注方法 | |
| CN108062753B (zh) | 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法 | |
| CN109711426B (zh) | 一种基于gan和迁移学习的病理图片分类装置及方法 | |
| CN112115967B (zh) | 一种基于数据保护的图像增量学习方法 | |
| CN103914705B (zh) | 一种基于多目标免疫克隆的高光谱图像分类和波段选择的方法 | |
| CN110443257B (zh) | 一种基于主动学习的显著性检测方法 | |
| CN106874862B (zh) | 基于子模技术和半监督学习的人群计数方法 | |
| CN111401156B (zh) | 基于Gabor卷积神经网络的图像识别方法 | |
| CN112464004A (zh) | 一种多视角深度生成图像聚类方法 | |
| CN105046272A (zh) | 一种基于简洁非监督式卷积网络的图像分类方法 | |
| CN112288749A (zh) | 一种基于深度迭代融合深度学习模型的颅骨图像分割方法 | |
| CN111524140A (zh) | 基于cnn和随机森林法的医学图像语义分割方法 | |
| CN114565628B (zh) | 一种基于边界感知注意的图像分割方法及系统 | |
| CN116523877A (zh) | 一种基于卷积神经网络的脑mri图像肿瘤块分割方法 | |
| CN116030044A (zh) | 一种边界感知的半监督医学图像分割方法 | |
| CN118036555B (zh) | 基于骨架式转移和结构对比学习的少样本字体生成方法 | |
| CN117132849A (zh) | 基于ct平扫影像与图神经网络的脑卒中出血转化预测方法 | |
| CN115661539A (zh) | 一种嵌入不确定性信息的少样本图像识别方法 | |
| CN113158754B (zh) | 一种番茄病害图像识别方法 | |
| CN114399687A (zh) | 基于空间校正的半监督自训练的高光谱遥感图像分类方法 | |
| CN114093507A (zh) | 边缘计算网络中基于对比学习的皮肤病智能分类方法 | |
| CN109947960A (zh) | 基于深度卷积的人脸多属性联合估计模型构建方法 | |
| CN117034060A (zh) | 基于ae-rcnn的洪水分级智能预报方法 | |
| CN116433679A (zh) | 一种基于空间位置结构先验的内耳迷路多级标注伪标签生成与分割方法 | |
| CN115063374A (zh) | 模型训练、人脸图像质量评分方法、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |