CN114549538A - 一种基于空间信息与特征通道的脑肿瘤医学图像分割方法 - Google Patents
一种基于空间信息与特征通道的脑肿瘤医学图像分割方法 Download PDFInfo
- Publication number
- CN114549538A CN114549538A CN202210172181.0A CN202210172181A CN114549538A CN 114549538 A CN114549538 A CN 114549538A CN 202210172181 A CN202210172181 A CN 202210172181A CN 114549538 A CN114549538 A CN 114549538A
- Authority
- CN
- China
- Prior art keywords
- convolution
- module
- segmentation
- repvgg
- conv
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 9
- 238000003709 image segmentation Methods 0.000 title claims abstract description 9
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 230000007246 mechanism Effects 0.000 claims abstract description 17
- 230000001965 increasing effect Effects 0.000 claims abstract description 14
- 239000000284 extract Substances 0.000 claims abstract description 5
- 238000013528 artificial neural network Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 19
- 206010028980 Neoplasm Diseases 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000004880 explosion Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000008034 disappearance Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims 1
- 230000003902 lesion Effects 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 2
- 230000000452 restraining effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000017074 necrotic cell death Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000032612 Glial tumor Diseases 0.000 description 1
- 206010018338 Glioma Diseases 0.000 description 1
- 208000019914 Mental Fatigue Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于空间信息与特征通道的脑肿瘤医学图像分割方法，本发明提出一种采用RepVGG和双注意力机制来改进U‑Net网络。RepVGG通过支链结构和参数重构化方法使得在不增加参数的情况下保持良好的模块泛化性能，该模块可以解决复杂全卷积神经网络存在参数多，耗时长等缺点。注意力机制已经广泛应用于分割任务中，其具有自动关注目标并抑制输入图像中不相关的区域的特点，双注意力机制有效的提取和利用空间中的焦点信息和特征通道之间的相关信息，实现精确的小目标分割能力。本发明解决了复杂网络模型开销大以及小目标分割能力弱的局限性，使得模型能够获得对病变区域的精确分割。
Description
技术领域
本发明属于医学图像分割领域。具体涉及一种基于空间信息与特征通道的卷积神经网络模型。
背景技术
脑部胶质瘤是一种常见的原发性或继发性脑肿瘤疾病，这是一种具有高治疗难度、高死亡率、高复发率的顽固疾病。早期诊断阶段，凭借精确的医学成像技术，提高对病变区域的精确分割能力，可以帮助医生及时准确地给出诊断结果，开展后续治疗。计算机医学图像分析可以为医学专业人员理解疾病和研究临床挑战提供精确的指导，以提高诊断质量。在临床上，医学图像中病变的分割大多由经验丰富的医生通过人工方式进行诊断，这种方式对于医生来说是十分耗时的。经历长时间、大量的诊断工作后，体力精神上的疲劳容易导致误诊概率的上升。
目前传统的图像处理技术主要包括特征提取和分类器两部分。特征提取算法的设计复杂性与应用局限性、稳定性，以及特定的特征提取算法与特定的分类器相结合的局限性限制着图像处理技术的发展。计算机神经网络的结构模仿人类大脑的结构，由大量并行的节点构成，每个节点都能执行一些基本的计算，通过对学习样本的训练，可以获得节点间的连接关系以及连接的权值，以提高分割精度。因此基于深度学习的分割技术在该领域的性能优于其它传统的计算机视觉方法。
国内外的研究学者针对基于卷积网络的脑肿瘤分割问题做了大量的研究工作。网络模型支链结构和注意力机制就是其中相对成熟的改进网络技术。网络支链结构中通过不同大小的卷积核获得不同大小的感受野，然后经过拼接过程可以获得不同尺度的融合，从而增加该层结构的特征信息量。注意力机制通过快速扫描全局图像，获得需要重点关注的目标区域即注意力焦点，然后对该区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他不相关信息。
但这单独使用两种技术中的一种存在一定的局限性，主要体现在：网络模型支链结构原理是在训练过程阶段获取样本中更多不同尺度的信息，此方法会导致模型分割时间成本升高。目前单一的注意力机制仅仅局限于增强目标区域的权重，没有利用特征通道之间的相关性，最终使得模型分割效果提升有限。
发明内容
本发明针对现有技术的不足，提出了一种基于空间信息与特征通道的脑肿瘤医学图像分割方法。
本发明是一种基于U-Net网络结构的改进方法，其中编码器的部分使用RepVGG 模块，利用其支链网络结构的优势以及可重构化的特点达到减少复杂模型参数量、增强特征提取能力的目的。同时网络在解码器的跳跃连接部分加入挤压与激励模块和注意力模块组成的双注意力机制，增强特征提取能力、抑制不相关区域，提高特征的利用率。整个网络的改进旨在削减病变分割时间成本，提高脑肿瘤分割精度。
本发明方法具体包括以下步骤：
步骤1：将三维的MRI数据集进行预处理；
步骤2：经过上述预处理步骤处理后的数据集作为模型训练数据集A；
步骤2-1：编码器部分将预处理完成的数据集A中图像x0先经过4次RepVGG卷积模块和下采样处理实现增加特征通道数量和缩小图片尺寸的目的，第5次仅经过1个 RepVGG卷积模块进行处理,每一次处理得到具有不同图片尺寸和不同特征通道数的结果gi；
步骤2-2：解码器部分将上述第5次的结果g5经过4次上采样和增加双注意力机制的VGG卷积模块进行处理，最后经过1×1卷积进行特征融合，得到每个像素属于目标分类的概率预测值；
步骤2-3：通过BCEDiceLoss函数对多区域进行预测结果和真实标签进行计算得到损失值，通过反向传播更新步骤2-1和2-2神经网络的参数；当BCEDiceLoss函数函数的数值趋于稳定后，得到最终的模型参数集合；
步骤3：将模型结构和参数重构减小参数量；
编码器中的RepVGG模块，通过重构的方式将1x1的支链卷积和恒等映射合并到3x3卷积堆栈中，减小模型参数量，加快模型分割图像速度。
作为优选，所述的将三维的MRI数据集进行预处理；具体包括以下步骤：
步骤1-1：将三维MRI数据进行二维切片处理，得到分别为T1,T2,FLAIR，T1CE 四个特征通道的二维图片序列，并删除其中像素值为零的图片；
步骤1-2：将具有四个特征通道的二维图片序列进行归一化处理；
步骤1-3：将上述1-2归一化后的二维图片序列进行中心剪裁，图片大小从240×240剪裁到160×160。
作为优选，步骤2-1中所述采用的RepVGG模块改进编码器的卷积模块，实现了增加特征信息量的同时防止梯度消失和梯度爆炸的效果；每层卷积公式如下；
gi＝f(xi)+g(xi)+xi (1)
xi表示第i层卷积的输入，f(xi)表示3x3的卷积操作，g(xi)表示1x1的卷积操作，gi代表卷积融合后的结果。
作为优选，步骤2-2中所述采用的双注意力机制改进的VGG模块，实现了使得模型不仅在空间信息上对目标特征的提取更加精确，而且能够充分利用不同通道之间的相关信息；其具体为:
g表示编码器的跳跃连接，xl代表上采样后的图像数据，f1和f2表示两个不同的1x1卷积，f3表示一个1x1卷积和Sigmoid激活函数和ReLU激活函数的组合，Fsq为全局平均池化卷积，Fex为1x1的卷积和ReLU激活函数，Fscale为矩阵相乘操作。
作为优选，步骤2-3中所述采用BCEDiceLoss损失函数是因为软骰子损失和交叉熵损失的组合可以获得稳定性，同时因为分割的评估是在三个部分重叠的区域上进行，因此选择同时对多区域优化，公式如下：
L'(x,y)＝L'dice(x,y)+0.5*L'bce(x,y) (4)
L(x,y)＝Lwhole(x,y)+Lcore(x,y)+Lenh(x,y) (5)
L'dice表示dice损失函数，L'bce表示交叉损失函数，两者的组合为BCEDiceLoss；Lwhole整个肿瘤区域损失函数，Lcore表示肿瘤核心区域损失函数，Lenh表示肿瘤增强区域损失函数；x表示预测值，y表示标签真实值，L'(x,y)表示单个区域的损失值，L(x,y)表示三个区域损失值的组合。
作为优选，步骤3中所述将编码器中的RepVGG模块，通过重构的方式将1x1 的支链卷积和恒等映射合并到3x3卷积堆栈中；首先将bn层和conv层转换成一个带有偏差向量的conv，将得到一个3x3卷积核，两个1x1卷积核，以及三个偏差值；再将两个1x1的卷积通过零填充的方式等价转换为3x3的卷积；利用公式将三个卷积核叠加为一个3x3的卷积并将三个偏差值相加；最终得到为仅有一个3x3卷积的 VGG结构，具体如下：
bn(x*W,μ,σ,γ,β)＝(x*W')+b'(7)
Conv(x,w1)+Conv(x,w2)+Conv(x,w3)＝Conv(x,w1+w2+w3)(8)
公式(6)和公式(7)中，μ，σ，γ，β分别表示平均值、标准偏差和学习的比例因子和偏差，x为输入的数据，W为bn层的权重，W'为bn和conv层转换后的卷积核的权重，b'为转换后的偏差，*为卷积操作；；公式(8)中x为输入的数据，w1，w2，w3分别为三个卷积的权重参数，将三个卷积进行线性叠加最终得到为仅有一个3x3卷积的VGG结构。
本发明的有益效果：
1.本发明通过提出的可重构支链网络使得网络在训练阶段增加特征信息量的同时防止梯度消失和梯度爆炸，使得网络获得5个不同尺度的特征，增强模型学习能力。预测阶段能够通过参数重构使得网络模型参数量降低，提高分割效率。
2.本发明通过注意力自适应加权，使得模型不仅在空间信息上对目标特征的提取更加精确，而且能够充分利用不同通道之间的相关信息。因此双注意力机制能够有效解决卷积神经网络中小目标分割能力弱以及多目标之间边缘分割不清晰的问题。
附图说明
图1为整个编解码器网络模型结构图。
图2为ResNet和RepVGG训练阶段和推测阶段结构图。
图3为双注意力机制中空间注意力机制的流程图。
图4为双注意力机制中通道注意力机制的流程图。
图5为RepVGG结构和参数重构化的流程图。
图6为本发明和其他改进脑肿瘤医学图像分割方法的对比图。
具体实施方式
为了使本发明的技术方案及优点更加清楚，下面将结合附图和实例对本发明进行详细说明。
步骤1：将三维的MRI数据集进行预处理。
步骤1-1：将三维MRI数据进行二维切片处理，得到四个特征通道的图片序列，将样本标签图中像素全部为0的图片删除以减少无关样本量。。
步骤1-2：将四个模态的图片序列采用公式(2)中的方法将每张图片进行归一化处理，减小样本不平衡的状况，其中u为像素点的平均值，ai为每个像素点归一化前的值.bi为归一化后每个像素点的值。
bi＝(ai-u)/s (2)
步骤1-3：由于数据集图片中存在与分割目标无关的黑色背景，因此为了避免不必要的显存消耗，将上1-2归一化后的二维图片序列进行中心剪裁，将图片大小从 240×240剪裁到160×160。
步骤2：将预处理完成的数据集放入模型进行训练。
步骤2-1：编码器部分如附图1将预处理完成的数据集A中图像x0先经过4次RepVGG卷积模块和下采样处理实现增加特征通道数量和缩小图片尺寸的目的，第5 次仅经过1个RepVGG卷积模块进行处理,每一次处理得到具有不同图片尺寸和不同特征通道数的结果gi。
其中一个RepVGG中包含两组相同结构的模块，模块中具有3x3卷积和1x1卷积以及恒等映射的模块，附图2中表示训练期间的信息流为：
gi＝f(xi)+g(xi)+xi(3)
其中f表示3×3卷积,g表示1×1卷积,xi表示恒等映射。该结构通过5次卷积提取到5个不同尺度的特征信息，分别对每个尺度的特征分别进行处理。整个网络通过跳跃连接在保留上层特征同时，还能对下层特征进行处理。这样通过引入层与层之间的信息，使用5个具有不同尺度和不同通道数的图像特征信息，提高所提取特征所包含的信息量。编码器部分通过引入RepVGG实现增加每层特征信息量、预防梯度消失和梯度爆炸的作用。
步骤2-2：解码器部分将上述第5次的结果g5经过4次上采样和增加双注意力机制的VGG卷积模块的处理，最后经过1×1卷积进行特征融合，得到每个像素属于目标分类的概率预测值。
其中双注意力机制过程如下，结构如附图3跳跃连接特征gi和上采样结果xl分别进入1x1的卷积块处理得到结果为H×W的特征图，再将其拼接得到y，随后将y 经过1x1的卷积块、ReLU激活函数、Sigmoid激活函数得到空间注意力系数
将注意力系数
与上采样的结果xl做矩阵乘法，其结果选择性地聚焦于特征图中的目标区域。
如附图4注意力模块的结果将作为挤压和激励模块的输入x，挤压和激励模块通过整合所有通道映射中的相关特征来选择性地强调相互依赖的通道映射，输入x通过挤压Fsq(全局平均池化)，然后再通过Fex(卷积网络和ReLU激活函数)得到通道注意力系数
最后
与x矩阵相乘以进一步改善通道维度特征表示，这有助于更精确的分割结果。
步骤2-3：通过loss函数对预测结果和真实标签进行计算得到误差，再通过反向传播更新参数。当loss函数的数值趋于稳定后，得到最终的模型参数集合。其中训练期间使用软骰子损失和交叉熵损失之和作为损失函数来获得稳定性：
L'(x,y)＝L'dice(x,y)+0.5*L'bce(x,y) (4)
为训练提供的标签是“水肿”、“非增强肿瘤和坏死”和“增强肿瘤”。然而，对分割的评估是在三个部分重叠的区域上进行的:整个肿瘤由所有标签组成、肿瘤核心由“非增强肿瘤和坏死”以及“增强肿瘤”组成。增强肿瘤为单一标签。因此选择优化这些区域而不是单独的类别，提高分割的性能，将优化目标更改为三个肿瘤子区域：
L(x,y)＝Lwhole(x,y)+Lcore(x,y)+Lenh(x,y) (5)
训练过程使用了亚当优化器，学习率为0.003，动量参数为0.9，权重衰减为0.0001.
步骤3：将模型参数重构减小参数量，编码器中的RepVGG模块，可通过重构的方式将1x1的支链卷积和恒等映射合并到3x3卷积堆栈中，减小模型参数量，加快模型分割图像速度。
采用结构重参数技术除去多余分支,其原理就是利用卷积的线性特征作简单的代数变换如附图2。在叠加之前，每个分支中使用bn，使用
表示i×i 大小的卷积核，c2表示输出的通道数，c1表示输入的通道数，使用μ(i)，σ(i)，γ(i)，β(i)分别表示平均值、标准偏差和学习的比例因子和偏差，使用x表示输入数据。从参数重构的角度，首先我们将卷积层与bn层进行融合，虽然bn层在训练时起到了积极作用，然而，在网络Inference时多了一些层的运算，影响了模型的性能，且占用了更多的内存或者显存空间。因此，有必要将bn层的参数合并到卷积层，减少计算来提升模型Inference的速度。首先bn层表达式为:
首先将每个bn及其前一个conv层转换成一个带有偏差向量的conv。
最后融合的结果为：
bn(x*W,μ,σ,γ,β)＝(x*W')+b' (8)
因输入层与输出层之间存在因恒等映射特征值前后不变，故可以构造为一个 1x1的单位卷积，经过上面的变换后，将得到一个3x3卷积核，两个1x1卷积核，以及三个偏差值。再将两个1x1的卷积通过零填充的方式等价转换为3x3的卷积。利用公式Conv(x,w1)+Conv(x,w2)+Conv(x,w3)＝Conv(x,w1+w2+w3)(9)将三个卷积核叠加为一个3x3的卷积并将三个偏差值相加，其中中x为输入的数据，w1，w2， w3分别为三个卷积的权重参数。最终得到为仅有一个3x3卷积的VGG结构。
根据附图6，本发明DualAttentionRepUnet在dice值上明显优于其他模型。提出的模型很好地检测到了所有三个区域，其预测结果与正式真实掩码重合度极高，同时重构化后的模型有效地减小参数量和降低分割时间，使得模型参数量从8.83MB 减小到8.32MB，分割病例的时间由7.12s减少为6.58s。
Claims (6)
1.一种基于空间信息与特征通道的脑肿瘤医学图像分割方法，其特征在于包括如下步骤：
步骤1：将三维的MRI数据集进行预处理；
步骤2：经过上述预处理步骤处理后的数据集作为模型训练数据集A；
步骤2-1：编码器部分将预处理完成的数据集A中图像x0先经过4次RepVGG卷积模块和下采样处理实现增加特征通道数量和缩小图片尺寸的目的，第5次仅经过1个RepVGG卷积模块进行处理,每一次处理得到具有不同图片尺寸和不同特征通道数的结果gi；
步骤2-2：解码器部分将上述第5次的结果g5经过4次上采样和增加双注意力机制的VGG卷积模块进行处理，最后经过1×1卷积进行特征融合，得到每个像素属于目标分类的概率预测值；
步骤2-3：通过BCEDiceLoss函数对多区域进行预测结果和真实标签进行计算得到损失值，通过反向传播更新步骤2-1和2-2神经网络的参数；当BCEDiceLoss函数函数的数值趋于稳定后，得到最终的模型参数集合；
步骤3：将模型结构和参数重构减小参数量；
编码器中的RepVGG模块，通过重构的方式将1x1的支链卷积和恒等映射合并到3x3卷积堆栈中，减小模型参数量，加快模型分割图像速度。
2.根据权利要求1所述的一种基于空间信息与特征通道的脑肿瘤医学图像分割方法，其特征在于：所述的将三维的MRI数据集进行预处理；具体包括以下步骤：
步骤1-1：将三维MRI数据进行二维切片处理，得到分别为T1,T2,FLAIR，T1CE四个特征通道的二维图片序列，并删除其中像素值为零的图片；
步骤1-2：将具有四个特征通道的二维图片序列进行归一化处理；
步骤1-3：将上述1-2归一化后的二维图片序列进行中心剪裁，图片大小从240×240剪裁到160×160。
3.根据权利要求1所述的一种基于空间信息与特征通道的脑肿瘤医学图像分割方法，其特征在于：步骤2-1中所述采用的RepVGG模块改进编码器的卷积模块，实现了增加特征信息量的同时防止梯度消失和梯度爆炸的效果；每层卷积公式如下；
gi＝f(xi)+g(xi)+xi (1)
xi表示第i层卷积的输入，f(xi)表示3x3的卷积操作，g(xi)表示1x1的卷积操作，gi代表卷积融合后的结果。
4.根据权利要求1所述的一种基于空间信息与特征通道的脑肿瘤医学图像分割方法，其特征在于：步骤2-2中所述采用的双注意力机制改进的VGG模块，实现了使得模型不仅在空间信息上对目标特征的提取更加精确，而且能够充分利用不同通道之间的相关信息；其具体为:
g表示编码器的跳跃连接，xl代表上采样后的图像数据，f1和f2表示两个不同的1x1卷积，f3表示一个1x1卷积和Sigmoid激活函数和ReLU激活函数的组合，Fsq为全局平均池化卷积，Fex为1x1的卷积和ReLU激活函数，Fscale为矩阵相乘操作。
5.根据权利要求1所述的一种基于空间信息与特征通道的脑肿瘤医学图像分割方法，其特征在于：步骤2-3中所述采用BCEDiceLoss损失函数是因为软骰子损失和交叉熵损失的组合可以获得稳定性，同时因为分割的评估是在三个部分重叠的区域上进行，因此选择同时对多区域优化，公式如下：
L'(x,y)＝L'dice(x,y)+0.5*L'bce(x,y) (4)
L(x,y)＝Lwhole(x,y)+Lcore(x,y)+Lenh(x,y) (5)
L'dice表示dice损失函数，L'bce表示交叉损失函数，两者的组合为BCEDiceLoss；Lwhole整个肿瘤区域损失函数，Lcore表示肿瘤核心区域损失函数，Lenh表示肿瘤增强区域损失函数；x表示预测值，y表示标签真实值，L'(x,y)表示单个区域的损失值，L(x,y)表示三个区域损失值的组合。
6.根据权利要求1所述的一种基于空间信息与特征通道的脑肿瘤医学图像分割方法，其特征在于：步骤3中所述将编码器中的RepVGG模块，通过重构的方式将1x1的支链卷积和恒等映射合并到3x3卷积堆栈中；首先将bn层和conv层转换成一个带有偏差向量的conv，将得到一个3x3卷积核，两个1x1卷积核，以及三个偏差值；再将两个1x1的卷积通过零填充的方式等价转换为3x3的卷积；利用公式将三个卷积核叠加为一个3x3的卷积并将三个偏差值相加；最终得到为仅有一个3x3卷积的VGG结构，具体如下：
bn(x*W,μ,σ,γ,β)＝(x*W')+b' (7)
Conv(x,w1)+Conv(x,w2)+Conv(x,w3)＝Conv(x,w1+w2+w3) (8)
公式(6)和公式(7)中，μ，σ，γ，β分别表示平均值、标准偏差和学习的比例因子和偏差，x为输入的数据，W为bn层的权重，W'为bn和conv层转换后的卷积核的权重，b'为转换后的偏差，*为卷积操作；；公式(8)中x为输入的数据，w1，w2，w3分别为三个卷积的权重参数，将三个卷积进行线性叠加最终得到为仅有一个3x3卷积的VGG结构。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210172181.0A CN114549538A (zh) | 2022-02-24 | 2022-02-24 | 一种基于空间信息与特征通道的脑肿瘤医学图像分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210172181.0A CN114549538A (zh) | 2022-02-24 | 2022-02-24 | 一种基于空间信息与特征通道的脑肿瘤医学图像分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114549538A true CN114549538A (zh) | 2022-05-27 |
Family
ID=81677632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210172181.0A Pending CN114549538A (zh) | 2022-02-24 | 2022-02-24 | 一种基于空间信息与特征通道的脑肿瘤医学图像分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114549538A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612131A (zh) * | 2023-05-22 | 2023-08-18 | 山东省人工智能研究院 | 一种基于ADC-UNet模型的心脏MRI结构分割方法 |
| CN116824116A (zh) * | 2023-06-26 | 2023-09-29 | 爱尔眼科医院集团股份有限公司 | 一种超广角眼底影像识别方法、装置、设备及存储介质 |
| WO2024032585A1 (zh) * | 2022-08-09 | 2024-02-15 | 北京灵汐科技有限公司 | 数据处理方法及装置、神经网络模型、设备、介质 |
-
2022
- 2022-02-24 CN CN202210172181.0A patent/CN114549538A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024032585A1 (zh) * | 2022-08-09 | 2024-02-15 | 北京灵汐科技有限公司 | 数据处理方法及装置、神经网络模型、设备、介质 |
| CN116612131A (zh) * | 2023-05-22 | 2023-08-18 | 山东省人工智能研究院 | 一种基于ADC-UNet模型的心脏MRI结构分割方法 |
| CN116612131B (zh) * | 2023-05-22 | 2024-02-13 | 山东省人工智能研究院 | 一种基于ADC-UNet模型的心脏MRI结构分割方法 |
| CN116824116A (zh) * | 2023-06-26 | 2023-09-29 | 爱尔眼科医院集团股份有限公司 | 一种超广角眼底影像识别方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113077471B (zh) | 一种基于u型网络的医学图像分割方法 | |
| CN111627019B (zh) | 一种基于卷积神经网络的肝脏肿瘤分割方法及系统 | |
| CN114549538A (zh) | 一种基于空间信息与特征通道的脑肿瘤医学图像分割方法 | |
| CN113516659B (zh) | 一种基于深度学习的医学影像自动分割方法 | |
| CN111951281B (zh) | 图像分割方法、装置、设备及存储介质 | |
| CN111091575B (zh) | 一种基于强化学习方法的医学图像分割方法 | |
| CN112364920B (zh) | 基于深度学习的甲状腺癌病理图像分类方法 | |
| CN117078692B (zh) | 一种基于自适应特征融合的医疗超声图像分割方法及系统 | |
| CN113421240A (zh) | 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置 | |
| Jia et al. | HNF-Netv2 for brain tumor segmentation using multi-modal MR imaging | |
| CN114663445A (zh) | 一种基于多尺度边缘感知的三维心脏图像分割方法 | |
| Yu et al. | Dual attention u-net for multi-sequence cardiac MR images segmentation | |
| WO2024104035A1 (zh) | 基于长短期记忆自注意力模型的三维医学图像分割方法及系统 | |
| CN117078941A (zh) | 一种基于上下文级联注意力的心脏mri分割方法 | |
| CN116542924A (zh) | 一种前列腺病灶区域检测方法、装置及存储介质 | |
| CN116229074A (zh) | 一种递进式边界区域优化的医学图像小样本分割方法 | |
| CN116071239A (zh) | 一种基于混合注意力模型的ct图像超分辨方法和装置 | |
| Du et al. | X-ray image super-resolution reconstruction based on a multiple distillation feedback network | |
| CN115984257A (zh) | 一种基于多尺度transformer的多模态医学图像融合方法 | |
| CN114332463A (zh) | 一种mr脑肿瘤图像实例分割方法、装置、设备及存储介质 | |
| CN114565626A (zh) | 基于PSPNet改进的肺部CT图像分割算法 | |
| CN117274282B (zh) | 一种基于知识蒸馏的医学图像分割方法、系统、设备 | |
| CN117392137B (zh) | 一种颅内动脉瘤图像检测方法、系统、设备及介质 | |
| CN117994517A (zh) | 一种能准确进行医学图像分割的方法 | |
| Wang et al. | MAPNet: A Multi-scale Attention Pooling Network for Ultrasound Medical Image Segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |