CN116309679A - 一种适用于多种模态的类mlp医学影像分割方法 - Google Patents

一种适用于多种模态的类mlp医学影像分割方法 Download PDF

Info

Publication number
CN116309679A
CN116309679A CN202310017346.1A CN202310017346A CN116309679A CN 116309679 A CN116309679 A CN 116309679A CN 202310017346 A CN202310017346 A CN 202310017346A CN 116309679 A CN116309679 A CN 116309679A
Authority
CN
China
Prior art keywords
channel
feature
medical image
image
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310017346.1A
Other languages
English (en)
Inventor
陈炳才
韩超奇
聂冰洋
赵楠
林恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN202310017346.1A priority Critical patent/CN116309679A/zh
Publication of CN116309679A publication Critical patent/CN116309679A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Processing (AREA)

Abstract

本发明属于医学影像处理领域，公开了一种适用于多种模态的类MLP医学影像分割方法，对输入图像进行特征嵌入操作使其转化成一组特征向量序列；采用完全对称的U型网络结构对特征向量进行编解码；使用Dice loss和修正交叉熵的加权和作为损失函数并用Adam优化器来训练网络。本发明采用改进的ChannelFC作为基本算子提取图像特征，通过一次线性操作计算偏移量，FC运算根据偏移量在空间维度发生形变，使其能更多的提取到细节特征。本发明有效过滤医学影像中大量背景信息的干扰，从而提高分割精度，相比于传统的基于卷积或者自注意力方法，具有更低的计算量和更少的参数，适用于CT、MRI等不同模态的医学影像数据集。

Description

一种适用于多种模态的类MLP医学影像分割方法
技术领域
本发明涉及医学影像处理领域，尤其涉及一种适用于多种模态的类MLP医学影像分割方法。
背景技术
医学图像分割是计算机辅助诊断的重要组成部分，尤其是准确且高效的医学图像分割算法可以在以图像引导的临床手术中发挥重要作用。受益于卷积神经网络和视觉Transformer的发展，医学图像分割也迎来了重大突破。近期，一些类MLP方法在各类计算机视觉任务中取得了良好的表现，成为该领域的一种有效代替方案。
早期的类MLP方法大致分为两个部分，用于提取空间语义信息的空间全连接(SpatialFC)和用于融合通道特征的通道全连接(ChannelFC)。由于SpatialFC是在整个空间维度进行全连接运算，不仅具有相当高的计算复杂度，而且也限制了输入特征图的尺寸使之不能够处理变尺度的输入，因此该方法在语义分割等任务的表现并不理想。除此之外，我们注意到医学影像中普遍存在前景器官占比低的问题，如果直接使用SpatialFC进行全局运算，会导致最后提取到的特征包含大量来自背景信息的干扰。解决这些问题一个思路是放弃全局的SpatialFC，对ChannelFC加以改进使其能够提取局部的空间语义信息。
“T.Yu,X.Li,Y.Cai,M.Sun和P.Li,《S2-MLP:Spatial-Shift MLP Architecturefor Vision》.2021年.”中通过空间移位的方式在两个ChannelFC之间引入spatial-shift操作来提取空间语义信息，S.Chen,E.Xie,C.Ge,D.Liang和P.Luo,《Cyclemlp:A mlp-likearchitecture for dense prediction》,arXiv preprint arXiv:2107.10224,2021.中则是采用循环移动ChannelFC取样位置的方式来提取空间特征，这些方法虽然解决了SpatialFC计算量大的问题，但对于医学影像这种前景稀疏的数据集来说，仍会被大量的背景信息所干扰，因此需要采用一种新的改进方式来解决这一问题。
发明内容
本发明针对上述技术问题，提供了一种适用于多种模态的类MLP医学影像分割方法，使用类MLP运算来提取各种模态的医学影像中前景器官的特征并对其进行分割，通过一次线性操作得到偏移量，并以此来使ChannelFC在空间维度上发生形变，以便提取更多器官的特征，抛弃了计算复杂度极高的SpacialFC以保证分割效率。
为了实现上述目的，本发明的技术方案如下：一种适用于多种模态的类MLP医学影像分割方法，包括以下步骤：
步骤1：收集医学影像分割数据集，根据医学影像分割数据集的模态选择标准化的方式；
步骤2：对标准化后的医学影像分割数据集进行数据预处理，获得切片；
步骤3：构建用于影像分割的完全对称的U型网络，总体结构包括图像嵌入层、编码器、解码器以及分割头；图像嵌入层将预处理好的切片嵌入成特征图；编码器主要由基本块和下采样层组成，对图像嵌入层输出的特征图进行逐级下采样输出一组不同尺度的特征图；解码器主要由基本块和上采样层组成，将特征图逐级上采样并分别与编码器中对应位置输出的特征图在通道维度上进行跳跃连接，最终得到与图像嵌入层的输出尺度一致的特征图；分割头将解码器输出的特征图重塑成切片大小并将通道数压缩到与类别数相同，在通道维度进行SoftMax运算得到每个像素点所属的类别；编码器和解码器中的基本块以改进的Channel FC作为基本算子；
步骤4：选择损失函数与训练策略优化U型网络模型的权重参数，并将训练好的U型网络用于推理。
所述图像嵌入层，输入为预处理好的切片，输出为嵌入特征图；通过滑动窗口将输入的切片分割成等尺寸的图像块，再将图像块转化为嵌入特征向量；将嵌入特征向量按照图像块的相对位置重新排列成嵌入特征图
Figure SMS_1
整个过程如下公式所示，
IEL(img)＝[patch1；…；(patch)n]·
其中，
Figure SMS_2
为图像嵌入层的权重矩阵；当滑动窗口的大小取k，步长取s，图像嵌入层的过程等价于内核大小为k、步长取s，输入通道为patch的通道数，输出通道为D的卷积。
所述基本块的基本算子为改进的Channel FC，输入和输出均为维度相同的特征向量序列；
以
Figure SMS_3
表示输入的特征向量序列，/>
Figure SMS_4
表示根据图像嵌入层输出的特征图计算得到的每个特征向量对应的偏移量，/>
Figure SMS_5
是改进的ChannelFC的权重矩阵，/>
Figure SMS_6
是改进的Channel FC的偏置；根据偏移量改变Channel FC的形状，使之在空间维度上更多的偏向前景图像，从而聚合更多特征处的上下文信息，如果仅考虑浮点乘法运算的话，该算子的FLOPs同普通的ChannelFC一样，与输入的特征向量序列的长度N呈线性关系。
改进的Channel FC算子公式如下：
Figure SMS_7
Cin表示输入特征向量的通道数；c为通道；pi(c,Oi,c)表示Channel FC算子计算第i个特征向量时，在通道c上采样的位置；
为了用更小的代价计算pi，将特征向量沿通道维度交替分成g组，每组共享一个位置，将偏移量O从
Figure SMS_8
压缩到/>
Figure SMS_9
pi主要由两部分组成，其具体算法公式如下所示；
Figure SMS_10
以改进的Channel FC作为基本算子构建基本块，输入和输出为大小一致的特征图，基本块包括两个阶段，第一阶段通过改进的Channel FC来提取空间和通道的特征信息，第二阶段引入非线性变换来进一步增强特征表示能力，每个阶段包括一个Layer Norm和残差连接；
(1)：第一阶段对图像嵌入层输出的特征图进行一次线性运算以获取一组偏移量，将这组偏移量同特征图一起输入到改进的Channel FC中执行；由于改进的Channel FC运算只接收二维张量，对图像嵌入层输出的特征图沿空间维度进行展平操作将其转换为特征向量序列，既
Figure SMS_11
采用一种非对称的并行设计，将F沿x轴和y轴两个方向展开并行进行FC运算；为了进一步融合特征图通道维度的特征，额外增加一个ChannelFC分支，最后将其与F两个方向的FC运算结果加和输出；
(2)：第二阶段采用Channel FC→GeLU→Channel FC的方式引入非线性运算来提高特征表示能力；激活函数为GeLU，其表达式如下
Figure SMS_12
x表示特征图某一位置的值；
所述步骤1中根据医学影像分割数据集的模态选择标准化的方式如下：
(1)医学影像分割数据集的模态为CT影像时，先将CT影像像素值剪裁在[-125,275]范围内，然后将其标准化为[0,1]；
(2)医学影像分割数据集的模态为MRI时，不进行剪裁，直接对整个MRI图像标准化为[0,1]。
所述步骤2中预处理的具体方法如下：
将标准化后的医学影像分割数据集按照8:2的比例划分训练集和验证集；训练集中将整个3D图片沿纵向切割成横断面切片，使用双线性插值法将横断面切片缩放到224×224像素，最后采用数据增强方法用于提高U型网络模型的泛化能力。
所述步骤3中构建一个完全对称的U型网络，其具体结构为：图像嵌入层→编码器→解码器→分割头；编码器具体结构为：基本块×2→下采样层→基本块×2→下采样层→基本块×6→下采样层→基本块×2；解码器具体结构为：上采样层→跳跃连接→基本块×6→上采样层→跳跃连接→基本块×2→上采样层→跳跃连接→基本块×2→上采样层。
所述步骤4的具体方法如下：
(1)采用Dice loss和修正的交叉熵的加权和作为损失函数，其计算公式如下
Figure SMS_13
X表示真实的标签，Y表示预测的标签，yic表示符号函数，当样本i的真实类别等于c时，yic取1，否则取0，β表示Dice的权重、N表示样本数；
使用Adam优化器反向梯度传导来优化权重参数，学习率衰减策略选用Poly衰减，公式如下
Figure SMS_14
lr表示学习率、baselr表示初始学习率、epoch表示当前的迭代次数、power表示衰减率；
使用高斯分布来初始化U型模型的权重参数，无需在大规模数据集上预训练；
(2)验证时一次向U型网络模型输入一个仅完成标准化的3D实例，U型网络模型沿z轴方向逐层推理，切片送入U型网络模型前缩放到与训练集相同的尺寸以保证最大分割精度，最终将各切片的结果重组成3D分割结果输出，以Dice系数DSC和豪斯多夫距离HD作为评估标准。
所述切片为3D影像的横断面切片
Figure SMS_15
本发明的有益效果：第一，网络没有直接在空间维度进行全连接运算，因此可接受变尺度输入，训练好的U型网络模型对输入图像的尺寸具有一定的泛化能力；
第二，网络完全由沿通道维度的全连接运算组成，对输入图像尺寸具有线性的计算复杂度。
第三，网络利用输入的特征图来计算偏移量，使ChannelFC在空间维度上向器官位置处产生形变，有效降低了大量背景信息造成的干扰，具有更高的精度。
附图说明
图1是本发明适用于多种模态的类MLP医学影像分割方法的整体架构图；
图2是本发明中的图像嵌入层示意图；
图3(a)是普通ChannelFC示意图；图3(b)是改进的ChannelFC示意图。
图4是本发明中提出的基本块第一阶段示意图。
图5(a)是输入图像，图5(b)是真实标签，图5(c)是本发明方法的分割结果图，图5(d)-图5(i)是现有先进方法的分割结果图，依次分别是CycleUnet、SwinUnet、TransUnet、AtteUnet、ResUnet、Unet。
具体实施方式
以下结合附图通对本发明作进一步详细说明。
本发明提供一种适用于多种模态的类MLP医学影像分割方法，包括以下步骤：
步骤1：收集医学影像分割数据集，并根据医学影像分割数据集的模态选择标准化的方式，本实施例中以腹部CT影像和心脏病患者心脏部位的MR图像为例。对于CT影像，先将图像像素值剪裁在[-125,275]范围内，然后将其标准化为[0,1]，对于MRI则不需要剪裁，直接对整个3D图像标准化为[0,1]。
步骤2：进行数据预处理，该步骤先按照8:2的比例划分训练集和验证集，对于训练集，需要将整个3D图片沿纵向切割成横断面切片，使用双线性插值法将图片缩放到224×224像素，最后采用一些如随机翻转等数据增强方法来提高模型的泛化能力；而测试集则不做过多处理。
步骤3：构建用于影像分割的完全对称的U型网络，总体结构包括图像嵌入层、编码器、解码器以及分割头；
构建图像嵌入层(Image embedding layer)将切片转化成嵌入特征向量序列，该过程分为两步，第一步利用滑动窗口将切片分成若干大小相同的图像块，第二步通过一个线性嵌入层将每个图像块嵌入成特征向量，最后将特征向量按照图像块的相对位置重排列成特征图。整个过程如下公式所示
IEL(img)＝[patch1；…；(patch)n]·
其中
Figure SMS_16
为线性层的权重矩阵，若滑动窗口的大小取k步长取s，那么该过程等价于内核大小为k步长取s，输入通道为patch的通道数，输出通道为D的卷积，因此本实例采用内核大小为7，步长为4的卷积实现该过程，最终输出的特征图尺寸为/>
Figure SMS_17
设计改进的ChannelFC算子，以
Figure SMS_18
表示输入的特征向量序列，/>
Figure SMS_19
表示根据特征图计算得到的每个特征向量对应的偏移量，/>
Figure SMS_20
和/>
Figure SMS_21
是全连接层的权重矩阵和偏置。改进的FC算子公式如下：
Figure SMS_22
从公式中可以看到，普通的ChannelFC直接沿着特征向量的通道维度采样并和权重矩阵相乘，而改进后的FC则需要额外输入一组偏移量，以改变ChannelFC采样的位置，其中pi(c,Oi,c)表示计算第i个特征向量时在通道c上采样的位置。为了用更小的代价计算pi，我们将特征向量沿通道维度交替的分成g组，每组共享一个位置，这样偏移量O便可以从
Figure SMS_23
压缩到/>
Figure SMS_24
pi的具体算法公式如下所示
Figure SMS_25
pi由两部分组成，Starti(c)表示初始位置，是人为设置的。
构建一个用于提取特征的基本块，以改进的Channel FC作为基本算子，以一种类MLP架构作为基本块，其构建方式包括两个阶段，具体如下：
第一阶段通过改进的Channel FC来提取空间和通道的特征信息，第二阶段引入非线性变换来进一步增强特征表示能力，每个阶段包括一个LayerNorm和残差连接。
第一阶段先对输入的特征图进行一次线性运算以获取一组偏移量，然后将这组偏移量同特征图一起输入到改进的ChannelFC中来执行。由于FC运算只接收二维张量，所以需要对特征图沿空间维度进行展平操作将其转换为特征向量序列，既
Figure SMS_26
这里采用了一种非对称的并行设计，既将F沿x轴和y轴两个方向展开并行的进行FC运算，另外为了融合通道特征，我们额外增加了一个Channel FC分支，最后将三者的结果加和输出。对于偏移量的提取操作，该实例使用一次线性操作既内核大小为1的卷积来实现，该操作的输出通道数由组数g决定，由于存在两个改进ChannelFC运算，所以输出的O的通道数应为2g，如图4所示，奇数通道表示x方向的偏置，偶数通道表示y方向的偏置，最后将方向不匹配的偏置屏蔽掉后输入FC，该实例的组数设定为3。
第二阶段用ChannelFC→GeLU→Channel FC的方式引入非线性运算来提高特征表示能力。由于该第二阶段模块与Transformer方法类似，处理的是图像块的嵌入特征向量序列，因此激活函数选用在Transformer中表现较好的GeLU，其近似表达式如下
Figure SMS_27
利用基本块构建一个完全对称的U型网络，包括编码部分，解码部分以及分割头，该实例的构建方式如下：
引入下采样层，搭建一个分层的编码器。该实例以特征向量融合的方式进行下采样，既将空间位置上相邻的2×2个向量首尾相连，再通过一个线性层来转换其通道数，整个过程等价于内核大小为2且步长为2的卷积，该实例便是通过这种方式来实现的。编码器以基本块(BasicBlock)和下采样层(Down Sample)交替堆叠的方式构建，编码过程中仅下采样层会改变特征图的尺寸和通道数，该实例的编码器结构为基本块×2→下采样层→基本块×2→下采样层→基本块×6→下采样层→基本块×2，下采样层之间特征图的空间分辨率和通道数为
Figure SMS_28
引入上采样层，搭建一个与编码器完全对称的解码器，并引入跳跃连接(Skip-connection)，逐级的融合不同尺度的特征图并恢复到原图尺寸。该实例采用双线性插值法(Bilinear)进行上采样。解码器结构为上采样层→跳跃连接→基本块×6→上采样层→跳跃连接→基本块×2→上采样层→跳跃连接→基本块×2→上采样层。
构建分割头，该部分由一个内核大小为1、输入通道数为嵌入特征向量维度D、输出通道数为类别数的卷积和Softmax实现，卷积运算将每个像素点的特征数压缩到与类别数一致，经过Softmax运算得到每个类别的概率，值最大的类别为该像素点所属的类别，该实例中CT数据集共8个类别，MR数据集共4个类别。
步骤4：选择合适的损失函数与训练策略优化模型权重参数，并将训练好的模型用于推理，该实例的训练策略和推理方式如下：
4.1：搭建好U型网络模型后，选择合适的损失函数来优化模型权重参数，该实例采用Dice loss和修正的交叉熵的加权和作为损失函数，其计算公式如下
Figure SMS_29
使用Adam优化器反向梯度传导来优化权重参数，学习率衰减策略选用Poly衰减，公式如下
Figure SMS_30
该实例的超参数β设置为0.7，power设置为0.9，一共训练了200个epoch，初始学习率为0.01，使用高斯分布来初始化模型的权重参数，没有迁移在大规模数据集上预训练的结果。
4.2：将训练好的U型网络模型在验证集上进行验证，该实例推理验证时一次给U型网络模型输入一个仅完成标准化的3D实例，U型网络模型沿z轴方向逐层推理，切片送入U型网络模型前需缩放到与训练集相同的尺寸以保证最大分割精度，最终将各切片的结果重组成3D分割结果输出，以Dice系数(DSC)作为评估标准，其计算方式如下
Figure SMS_31
该实例在CT数据集上的总体平均DSC为80.00％，MRI数据集上的总体DSC为89.95％。

Claims (7)

1.一种适用于多种模态的类MLP医学影像分割方法，其特征在于，包括以下步骤：
步骤1：收集医学影像分割数据集，根据医学影像分割数据集的模态选择标准化的方式；
步骤2：对标准化后的医学影像分割数据集进行数据预处理，获得切片；
步骤3：构建用于影像分割的完全对称的U型网络，总体结构包括图像嵌入层、编码器、解码器以及分割头；图像嵌入层将预处理好的切片嵌入成特征图；编码器主要由基本块和下采样层组成，对图像嵌入层输出的特征图进行逐级下采样输出一组不同尺度的特征图；解码器主要由基本块和上采样层组成，将特征图逐级上采样并分别与编码器中对应位置输出的特征图在通道维度上进行跳跃连接，最终得到与图像嵌入层的输出尺度一致的特征图；分割头将解码器输出的特征图重塑成切片大小并将通道数压缩到与类别数相同，在通道维度进行SoftMax运算得到每个像素点所属的类别；编码器和解码器中的基本块以改进的Channel FC作为基本算子；
步骤4：选择损失函数与训练策略优化U型网络模型的权重参数，并将训练好的U型网络用于推理。
2.根据权利要求1所述的适用于多种模态的类MLP医学影像分割方法，其特征在于，所述图像嵌入层，输入为预处理好的切片，输出为嵌入特征图；通过滑动窗口将输入的切片分割成等尺寸的图像块，再将图像块转化为嵌入特征向量；将嵌入特征向量按照图像块的相对位置重新排列成嵌入特征图；整个过程如下公式所示，
IEL(img)＝[patch1；…；(patch)n]·E
其中，
Figure FDA0004039980980000011
为图像嵌入层的权重矩阵；当滑动窗口的大小取k，步长取s，图像嵌入层的过程等价于内核大小为k、步长取s，输入通道为patch的通道数，输出通道为D的卷积。
3.根据权利要求1或2所述的适用于多种模态的类MLP医学影像分割方法，其特征在于，所述基本块的基本算子为改进的Channel FC，输入和输出均为维度相同的特征向量序列；
以
Figure FDA0004039980980000021
表示输入的特征向量序列，/>
Figure FDA0004039980980000022
表示根据图像嵌入层输出的特征图计算得到的每个特征向量对应的偏移量，/>
Figure FDA0004039980980000023
是改进的Channel FC的权重矩阵，/>
Figure FDA0004039980980000024
是改进的Channel FC的偏置；改进的Channel FC算子公式如下：
Figure FDA0004039980980000025
Cin表示输入特征向量的通道数；c为通道；pi(c,Oi,c)表示Channel FC算子计算第i个特征向量时，在通道c上采样的位置；
为了用更小的代价计算pi，将特征向量沿通道维度交替分成g组，每组共享一个位置，将偏移量O从
Figure FDA0004039980980000026
压缩到/>
Figure FDA0004039980980000027
pi主要由两部分组成，其具体算法公式如下所示；
Figure FDA0004039980980000028
以改进的Channel FC作为基本算子构建基本块，输入和输出为大小一致的特征图，基本块包括两个阶段，第一阶段通过改进的Channel FC来提取空间和通道的特征信息，第二阶段引入非线性变换来进一步增强特征表示能力，每个阶段包括一个LayerNorm和残差连接；
(1)：第一阶段对图像嵌入层输出的特征图进行一次线性运算以获取一组偏移量，将这组偏移量同特征图一起输入到改进的Channel FC中执行；由于改进的Channel FC运算只接收二维张量，对图像嵌入层输出的特征图沿空间维度进行展平操作将其转换为特征向量序列，既
Figure FDA0004039980980000031
采用一种非对称的并行设计，将F沿x轴和y轴两个方向展开并行进行FC运算；为了进一步融合特征图通道维度的特征，额外增加一个Channel FC分支，最后将其与F两个方向的FC运算结果加和输出；
(2)：第二阶段采用Channel FC→GeLU→Channel FC的方式引入非线性运算来提高特征表示能力；激活函数为GeLU，其表达式如下
Figure FDA0004039980980000032
x表示特征图某一位置的值。
4.根据权利要求1所述的一种适用于多种模态的类MLP医学影像分割方法，其特征在于，所述步骤1中根据医学影像分割数据集的模态选择标准化的方式如下：
(1)医学影像分割数据集的模态为CT影像时，先将CT影像像素值剪裁在[-125,275]范围内，然后将其标准化为[0,1]；
(2)医学影像分割数据集的模态为MRI时，不进行剪裁，直接对整个MRI图像标准化为[0,1]。
5.根据权利要求1所述的一种适用于多种模态的类MLP医学影像分割方法，其特征在于，所述步骤2中预处理的具体方法如下：
将标准化后的医学影像分割数据集按照8:2的比例划分训练集和验证集；训练集中将整个3D图片沿纵向切割成横断面切片，使用双线性插值法将横断面切片缩放到224×224像素，最后采用数据增强方法用于提高U型网络模型的泛化能力。
6.根据权利要求1所述的一种适用于多种模态的类MLP医学影像分割方法，其特征在于，所述步骤3中构建一个完全对称的U型网络，其具体结构为：图像嵌入层→编码器→解码器→分割头；编码器具体结构为：基本块×2→下采样层→基本块×2→下采样层→基本块×6→下采样层→基本块×2；解码器具体结构为：上采样层→跳跃连接→基本块×6→上采样层→跳跃连接→基本块×2→上采样层→跳跃连接→基本块×2→上采样层。
7.根据权利要求1所述的一种适用于多种模态的类MLP医学影像分割方法，其特征在于，所述步骤4的具体方法如下：
(1)采用Dice loss和修正的交叉熵的加权和作为损失函数，其计算公式如下
Figure FDA0004039980980000041
X表示真实的标签，Y表示预测的标签，yic表示符号函数，当样本i的真实类别等于c时，yic取1，否则取0，β表示Dice Loss的权重、N表示样本数；
使用Adam优化器反向梯度传导来优化权重参数，学习率衰减策略选用Poly衰减，公式如下
Figure FDA0004039980980000042
lr表示学习率、baselr表示初始学习率、epoch表示当前的迭代次数、power表示衰减率；
使用高斯分布来初始化U型模型的权重参数，无需在大规模数据集上预训练；
(2)验证时一次向U型网络模型输入一个仅完成标准化的3D实例，U型网络模型沿z轴方向逐层推理，切片送入U型网络模型前缩放到与训练集相同的尺寸以保证最大分割精度，最终将各切片的结果重组成3D分割结果输出，以Dice系数DSC和豪斯多夫距离HD作为评估标准。
CN202310017346.1A 2023-01-06 2023-01-06 一种适用于多种模态的类mlp医学影像分割方法 Pending CN116309679A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310017346.1A CN116309679A (zh) 2023-01-06 2023-01-06 一种适用于多种模态的类mlp医学影像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310017346.1A CN116309679A (zh) 2023-01-06 2023-01-06 一种适用于多种模态的类mlp医学影像分割方法

Publications (1)

Publication Number Publication Date
CN116309679A true CN116309679A (zh) 2023-06-23

Family

ID=86798590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310017346.1A Pending CN116309679A (zh) 2023-01-06 2023-01-06 一种适用于多种模态的类mlp医学影像分割方法

Country Status (1)

Country Link
CN (1) CN116309679A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503675A (zh) * 2023-06-27 2023-07-28 南京理工大学 一种基于强聚类损失函数的多种类目标辨识方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503675A (zh) * 2023-06-27 2023-07-28 南京理工大学 一种基于强聚类损失函数的多种类目标辨识方法及系统
CN116503675B (zh) * 2023-06-27 2023-08-29 南京理工大学 一种基于强聚类损失函数的多种类目标辨识方法及系统

Similar Documents

Publication Publication Date Title
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN112258526B (zh) 一种基于对偶注意力机制的ct肾脏区域级联分割方法
CN111951288A (zh) 一种基于深度学习的皮肤癌病变分割方法
CN112132878B (zh) 基于卷积神经网络的端到端大脑核磁共振图像配准方法
CN114049408A (zh) 用于加速多模态mr成像的深度网络模型
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN111696042B (zh) 基于样本学习的图像超分辨重建方法
CN117745745B (zh) 一种基于上下文融合感知的ct图像分割方法
CN117333497A (zh) 一种基于掩码监督策略的高效建模的三维医学影像分割方法
CN116012581A (zh) 一种基于双重注意力融合的图像分割方法
CN115471470A (zh) 一种食管癌ct图像分割方法
CN117710671A (zh) 一种基于分割大模型微调的医学图像分割方法
CN116433654A (zh) 一种改进的U-Net网络实现脊柱整体分割方法
CN116309679A (zh) 一种适用于多种模态的类mlp医学影像分割方法
CN115661165A (zh) 基于增强注意力的编解码网络胶质瘤融合分割系统及方法
CN116385454A (zh) 一种基于多阶段聚合的医学图像分割方法
CN118470036A (zh) 一种HL-UNet图像分割模型及心脏动态磁共振成像分割方法
CN116016953A (zh) 一种基于深度熵编码的动态点云属性压缩方法
CN115564810A (zh) 图像配准方法及设备
CN117392153B (zh) 一种基于局部补偿和多尺度自适应变形的胰腺分割方法
US11967004B2 (en) Deep learning based image reconstruction
CN111986210B (zh) 一种医学影像小病灶分割方法
CN117474866A (zh) 基于融合卷积与注意力机制的u型网络的医学图像自动分割方法
Wang et al. Multi-scale hierarchical transformer structure for 3d medical image segmentation
Wang et al. A Wavelet-Domain Consistency-Constrained Compressive Sensing Framework Based on Memory-Boosted Guidance Filtering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination